Dự án xây dựng Nhà văn hóa Nhật Bản tại Paris được bắt đầu vào năm 1982 khi Tổng thống Pháp François Mitterrand tới thăm chính thức Nhật Bản. Trong một buổi gặp gỡ với Thủ tướng Nhật Zenko Suzuki, Mitterrand đã đưa ra ý tưởng về việc thành lập ở Paris một trung tâm để giới thiệu văn hóa Nhật Bản với công chúng người Pháp, củng cố mối quan hệ giữa hai nước.

Năm 1988, hai ủy ban đỡ đầu gồm François-Xavier Ortoli, tổng chủ tích tập đoàn Total và Hiraiwa Gaishi, chủ tịch Tokyo Electric Power Company, đứng ra bảo trợ cho dự án. Bên cạnh đó, một hiệp hội được thành lập để tổ chức cuộc thi kiến trúc và chuẩn bị cho công việc xây dựng. Vị trí được chọn là một địa điểm bên cạnh sông Seine, không xa tháp Eiffel.

Năm 1990, ban giám khảo đã chọn đồ án của hai kiến trúc sư trẻ Masayuki Yamanaka người Nhật và Kenneth Armstrong người Anh. Tháng 9 năm 1994, việc xây dựng được bắt đầu. Hiệp hội Nhật, tổ chức có trách nhiệm trong việc trao đổi văn hóa giữa Nhật và các quốc gia khác, đã đứng ra chuẩn bị cho trung tâm văn hóa trong tương lai.

Lễ khánh thánh Nhà văn hóa Nhật Bản tại Paris được tổ chức ngày 13 tháng 5 năm 1997 với sự có mặt của Tổng thống Jacques Chirac cùng công chúa Sayako của Nhật. Theo sau buổi lễ cũng có nhiều hoạt động văn hóa khác được tổ chức trong năm 1997–1998, vốn là Năm Nhật Bản ở Pháp. Ngày 23 tháng 9 cùng năm, Nhà văn hóa Nhật Bản tại Paris chính thức mở cửa cho công chúng với triển lãm mang tên Le siècle du design: Art-Info, présent et futur.

Ngày nay, Nhà văn hóa Nhật Bản tại Paris do Hiệp hội Nhật Bản ở Pháp (Fondation du Japon en France) quản lý và được Tổ chức Nhà văn hóa Nhật Bản tại Paris (Association pour la Maison de la culture du Japon à Paris) bảo trợ.[1]